Der Konzernriese verkündete: „Die Regeln des Internets ändern sich komplett!“

Große Sprachmodelle wie ChatGPT benötigen riesige Mengen an Trainingsdaten, um ihre Leistung zu verbessern. Daher nutzen sie Crawler, die auf verschiedene Websites zugreifen, um Inhalte für das Training ihrer Systeme zu sammeln. Mit Cloudflares neuem Schritt können diese automatisierten Systeme nicht mehr ohne Erlaubnis oder Gebühr auf Seiten zugreifen.

SIE ZAHLEN AN DIE WEBSITE-EIGENTÜMER

Dementsprechend können Website-Publisher KI-Crawlern Zugriff gewähren, und Cloudflare kündigte die Einführung eines „Pay-per-Crawl“-Systems an, das es KI-Unternehmen ermöglicht, für das Crawlen von Daten zu bezahlen.

Das Training von KI-Systemen mit Online-Texten ist zu einem der umstrittensten Themen des KI-Zeitalters geworden. Viele Verlage haben rechtliche Schritte eingeleitet und behaupten, dass ihre Inhalte von KI-Unternehmen ohne Erlaubnis verwendet werden.

Als diese Diskussionen im Jahr 2023 eskalierten, kündigte Cloudflare an, Websites durch Hinzufügen eines speziellen Tags den Zugriff von KI-Crawlern zu unterbinden. Diese Methode war jedoch nicht anwendbar. Anschließend entwickelte Cloudflare eine Technologie zur Erkennung von KI-Bots und ermöglichte es Websites, diese Bots automatisch zu blockieren. Dieses Tool ist nun standardmäßig aktiviert.

Cloudflare-CEO Matthew Prince sagte der New York Times: „Cloudflare verändert die Regeln des Internets“ und kündigte an, KI-Crawler direkt zu blockieren, um KI-Unternehmen daran zu hindern, Daten aus dem Internet zu sammeln. Prince erklärte, der Schritt sei auf die Befürchtung zurückzuführen, dass KI-Unternehmen, die kostenlos das Internet durchsuchen, Menschen davon abhalten würden, neue Inhalte zu schreiben.